हाल ही में, कृत्रिम बुद्धिमत्ता बेंचमार्क परीक्षण पर बहस सार्वजनिक दृश्य में तेज हो गई है। OpenAI के एक कर्मचारी ने एलन मस्क द्वारा स्थापित AI कंपनी xAI पर Grok3 बेंचमार्क परीक्षण परिणामों को भ्रामक बताने का आरोप लगाया, जबकि xAI के सह-संस्थापक इगोर बबुश्किन ने कंपनी की स्थिति को सही ठहराया। घटना का कारण यह था कि xAI ने अपने ब्लॉग पर एक चार्ट जारी किया, जिसमें AIME2025 परीक्षण में Grok3 के प्रदर्शन को दर्शाया गया। AIME2025 हाल की एक गणित आमंत्रण प्रतियोगिता की एक श्रृंखला है।

OpenAI ने हाल ही में एक महत्वपूर्ण AI प्रोग्रामिंग क्षमता मूल्यांकन रिपोर्ट जारी की है, जिसने सॉफ्टवेयर विकास क्षेत्र में AI की वर्तमान स्थिति को एक $1 मिलियन के वास्तविक विकास परियोजनाओं के माध्यम से उजागर किया है। SWE-Lancer नामक इस बेंचमार्क परीक्षण में Upwork से 1,400 वास्तविक परियोजनाएँ शामिल थीं, जिसने सीधे विकास और परियोजना प्रबंधन के दो प्रमुख क्षेत्रों में AI के प्रदर्शन का संपूर्ण मूल्यांकन किया। परीक्षण के परिणामों से पता चलता है कि सर्वश्रेष्ठ प्रदर्शन करने वाले AI मॉडल Claude3.5Sonnet ने कोडिंग कार्यों में 26.2% की सफलता दर दर्ज की है, परियोजना प्रबंधन में

OpenAI द्वारा जारी किए गए नवीनतम मॉडल o3 ने ARC-AGI बेंचमार्क परीक्षण में अद्भुत परिणाम हासिल किए हैं, मानक गणना की शर्तों के तहत स्कोर 75.7% तक पहुँच गया, जबकि उच्च गणना संस्करण ने तो 87.5% स्कोर किया। यह उपलब्धि एआई शोध समुदाय को हैरान करने वाली है, लेकिन फिर भी यह साबित नहीं कर सकता कि कृत्रिम बुद्धिमत्ता की सामान्यता (AGI) को पार कर लिया गया है। ARC-AGI बेंचमार्क परीक्षण अमूर्त तर्क पुस्तकालय (Abstract Reasoning Corpus) पर आधारित है, जिसका उद्देश्य एआई सिस्टम के नए कार्यों के अनुकूलन का मूल्यांकन करना है।

हाल ही में, माइक्रोसॉफ्ट ने Windows Agent Arena (WAA) नामक एक नया मंच जारी किया, जो वास्तविक Windows ऑपरेटिंग सिस्टम वातावरण में人工智能 सहायक के प्रदर्शन का परीक्षण करने के लिए विशेष रूप से तैयार किया गया है। यह नवोन्मेषी बेंचमार्क परीक्षण उपकरण AI सहायक के विकास को गति देने के लिए तैयार किया गया है, ताकि उन्हें विभिन्न अनुप्रयोगों में जटिल गणना कार्यों को निष्पादित करने की क्षमता मिल सके, जिससे मानव-मशीन इंटरैक्शन की दक्षता बढ़े। शोध दल ने arXiv.org पर एक पत्र प्रकाशित किया है, जिसमें बताया गया है कि बड़े भाषा मॉडल कंप्यूटर सहायक के रूप में विशाल क्षमता दिखाते हैं।

आधुनिक संबंध डेटाबेस में, कार्डिनालिटी अनुमान (CE) तकनीक क्वेरी निष्पादन योजना को अनुकूलित करने के लिए अत्यंत महत्वपूर्ण है, जो सीधे क्वेरी की दक्षता और डेटाबेस के प्रदर्शन को प्रभावित करती है। पारंपरिक कार्डिनालिटी अनुमान विधियाँ सरलीकृत धारणाओं पर आधारित होती हैं, और आमतौर पर जटिल क्वेरी पूर्वानुमान पर अच्छी प्रदर्शन नहीं करती हैं, जबकि शिक्षण आधारित CE मॉडल अधिक सटीक पूर्वानुमान प्रदान कर सकते हैं, लेकिन लंबे प्रशिक्षण समय, बड़ी मात्रा में डेटा की आवश्यकता और प्रणालीगत मूल्यांकन की कमी जैसी समस्याओं का सामना करते हैं। इस चुनौती को हल करने के लिए, गूगल अनुसंधान टीम ने CardBench बेंचमार्क परीक्षण ढांचा लॉन्च किया, जो 20 से अधिक वास्तविक विश्व डेटाबेस और हजारों क्वेरियों को एकीकृत करता है।

Geekbench AI एक नया क्रॉस-प्लेटफ़ॉर्म उपकरण है, जिसे AI-गहन वर्कलोड का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह उपकरण CPU, GPU और NPU के साथ-साथ विभिन्न मशीन लर्निंग ढांचों का समर्थन करने की क्षमताओं को मापता है, जिससे उपकरणों की AI अनुप्रयोगों को संसाधित करने की क्षमता का विश्लेषण किया जा सके। Geekbench AI पूर्ण सटीकता, अर्ध-सटीकता और क्वांटाइजेशन स्कोर के साथ सटीकता का मूल्यांकन प्रदान करता है, जिससे उपयोगकर्ताओं को यह समझने में मदद मिलती है कि मॉडल कार्यों को कितनी अच्छी तरह निष्पादित करता है। उपयोगकर्ता Windows, macOS, Linux, A पर इस उपकरण का उपयोग कर सकते हैं।

लंबा संदर्भ समझना प्राकृतिक भाषा प्रसंस्करण क्षेत्र की एक प्रमुख चुनौती है, विशेषकर जब बड़े भाषा मॉडल (LLMs) अपने संदर्भ विंडो के आकार से परे पाठ को संसाधित करते हैं। इस समस्या को हल करने के लिए, शोधकर्ताओं ने LooGLE बेंचमार्क परीक्षण विकसित किया, जो LLMs की अत्यधिक लंबी डोक्यूमेंट्स (औसतन 19.3k शब्द, कुल 776 लेख, कई क्षेत्रों को कवर करते हुए) के साथ लंबे संदर्भ समझने की क्षमता का आकलन करने के लिए है। LooGLE में 7 कार्य शामिल हैं, जो छोटे और लंबे निर्भरता को कवर करते हैं, और विभिन्न लंबाई के पाठ के लिए मॉडल की समझ का आकलन करते हैं। परीक्षण डेटा 2022 के बाद के खुलासे से आता है।